Estrategia de ahorro energético y aprovechamiento de recursos para sistemas de Cloud Computing

Treball de Fi de Màster en Sistemes Intel·ligents. Curs 2011/2012El presente documento corresponde con el trabajo fin de máster “Estrategia de ahorro energético y aprovechamiento de recursos para sistemas de Cloud Computing” para la asignatura SIE043 del máster en Sistemas Inteligentes. La energía, cada vez más, es un bien escaso que hay que conservar y utilizar de forma eficiente. Una de las tendencias más recientes y actuales de tecnología TI para los modelos de negocio de las empresas es el Cloud Computing. El Cloud Computing es una tecnología consistente en la prestación de recursos y servicios computacionales a través de una red o de Internet. Pero, para desplegar una infraestructura de Cloud Computing se requiere una gran cantidad de clústers de computadores. El aumento del número de nodos en clusters de computadores así como el incremento de la frecuencia de los procesadores en éstos, ha llevado a que el consumo de energía eléctrica en este tipo de plataformas se haya convertido en un factor muy importante a considerar. De hecho, importantes empresas e instituciones relacionadas con el campo de la computación de altas prestaciones (High Perfomance Computing) dedican gran parte de sus esfuerzos a desarrollar nuevos métodos de ahorro de energía en clusters de computadores. Además, en periodos de baja demanda se desperdicia parte de la capacidad de procesamiento de los clústers. Por tanto, es necesario idear una estrategia que permita aprovechar mejor los recursos físicos disponibles y ahorrar energía, todo ello sin perjudicar la calidad del servicio. En este proyecto se presenta una pequeña aproximación a este fin, basada en la idea de virtualización, y del apagado y encendido remoto, selectivo y automático de nodos. Mediante el uso de la virtualización se ha desarrollado un software que permite agrupar máquinas virtuales de forma automática en función de la carga, permitiendo apagar o encender nodos según convenga y aprovechando mejor los recursos disponibles a la vez que se ahorra energía. En este proyecto se ha utilizado el monitor de máquinas virtuales o hipervisor Xen como principal herramienta de virtualización. Una de las características destacadas de este hipervisor es la posibilidad de migrar máquinas virtuales en vivo, es decir, migrarlas sin ser apagadas ni tan siquiera pausadas. Esta característica permite que un servicio dado por una máquina virtual no sea interrumpido aunque se realice la migración de la máquina virtual a un nodo remoto

Performance Model of MapReduce Iterative Applications for Hybrid Cloud Bursting

Hybrid cloud bursting (i.e., leasing temporary off-premise cloud resources to boost the overall capacity during peak utilization) can be a cost-effective way to deal with the increasing complexity of big data analytics, especially for iterative applications. However, the low throughput, high latency network link between the on-premise and off-premise resources (“weak link”) makes maintaining scalability difficult. While several data locality techniques have been designed for big data bursting on hybrid clouds, their effectiveness is difficult to estimate in advance. Yet such estimations are critical, because they help users decide whether the extra pay-as-you-go cost incurred by using the off-premise resources justifies the runtime speed-up. To this end, the current paper presents a performance model and methodology to estimate the runtime of iterative MapReduce applications in a hybrid cloud-bursting scenario. The paper focuses on the overhead incurred by the weak link at fine granularity, for both the map and the reduce phases. This approach enables high estimation accuracy, as demonstrated by extensive experiments at scale using a mix of real-world iterative MapReduce applications from standard big data benchmarking suites that cover a broad spectrum of data patterns. Not only are the produced estimations accurate in absolute terms compared with experimental results, but they are also up to an order of magnitude more accurate than applying state-of-art estimation approaches originally designed for single-site MapReduce deployments

Enabling big data analytics in the hybrid cloud using iterative MapReduce

The cloud computing model has seen tremendous commercial success through its materialization via two prominent models to date, namely public and private cloud. Recently, a third model combining the former two service modelsas on-/off-premise resources has been receiving significant market traction: hybrid cloud. While state of art techniques that address workload performance prediction and efficient workload execution over hybrid cloud setups exist, how to address data-intensive workloads - including Big Data Analytics - in similar environments is nascent. This paper addresses this gap by taking on the challenge of bursting over hybrid clouds for the benefit of accelerating iterative MapReduce applications. We first specify the challenges associated with data locality and data movement in such setups. Subsequently, we propose a novel technique to address the locality issue, without requiring changes to the MapReduce framework or the underlying storage layer. In addition, we contribute with a performance prediction methodology that combines modeling with micro-benchmarks to estimate completion time for iterative MapReduce applications, which enables users to estimate cost-to-solution before committing extra resources from public clouds. We show through experimentation in a dual-Openstack hybrid cloud setup that our solutions manage to bring substantial improvement at predictable cost-control for two real-life iterative MapReduce applications: large-scale machine learning and text analysis

Jornadas Nacionales de Robótica y Bioingeniería 2023: Libro de actas

Las Jornadas de Robótica y Bioingeniería de 2023 tienen lugar en la Escuela Técnica Superior de Ingeniería Industrial de la Universidad Politécnica de IVIadrid, entre los días 14 y 16 de junio de 2023. En este evento propiciado por el Comité Español de Automática (CEA) tiene lugar la celebración conjunta de las XII Jornadas Nacionales de Robótica y el XIV Simposio CEA de Bioingeniería. Las Jornadas Nacionales de Robótica es un evento promovido por el Grupo Temático de Robótica (GTRob) de CEA para dar visibilidad y mostrar las actividades desarrolladas en el ámbito de la investigación y transferencia tecnológica en robótica. Asimismo, el propósito de Simposio de Bioingeniería, que cumple ahora su decimocuarta dicción, es el de proporcionar un espacio de encuentro entre investigadores, desabolladores, personal clínico, alumnos, industriales, profesionales en general e incluso usuarios que realicen su actividad en el ámbito de la bioingeniería. Estos eventos se han celebrado de forma conjunta en la anualidad 2023. Esto ha permitido aunar y congregar un elevado número de participantes tanto de la temática robótica como de bioingeniería (investigadores, profesores, desabolladores y profesionales en general), que ha posibilitado establecer puntos de encuentro, sinergias y colaboraciones entre ambos. El programa de las jornadas aúna comunicaciones científicas de los últimos resultados de investigación obtenidos, por los grupos a nivel español más representativos dentro de la temática de robótica y bioingeniería, así como mesas redondas y conferencias en las que se debatirán los temas de mayor interés en la actualidad. En relación con las comunicaciones científicas presentadas al evento, se ha recibido un total de 46 ponencias, lo que sin duda alguna refleja el alto interés de la comunidad científica en las Jornadas de Robótica y Bioingeniería. Estos trabajos serán expuestos y presentados a lo largo de un total de 10 sesiones, distribuidas durante los diferentes días de las Jornadas. Las temáticas de los trabajos cubren los principales retos científicos relacionados con la robótica y la bioingeniería: robótica aérea, submarina, terrestre, percepción del entorno, manipulación, robótica social, robótica médica, teleoperación, procesamiento de señales biológicos, neurorehabilitación etc. Confiamos, y estamos seguros de ello, que el desarrollo de las jornadas sea completamente productivo no solo para los participantes en las Jornadas que podrán establecer nuevos lazos y relaciones fructíferas entre los diferentes grupos, sino también aquellos investigadores que no hayan podido asistir. Este documento que integra y recoge todas las comunicaciones científicas permitirá un análisis más detallado de cada una de las mismas